أدوات تحليل الأداء في بايثون: تحليل cProfile مقابل line_profiler لتحسين الأداء

في عالم تطوير البرمجيات، خاصةً عند العمل مع لغات ديناميكية مثل بايثون، يعد فهم أداء الكود وتحسينه أمرًا بالغ الأهمية. يمكن أن يؤدي الكود البطيء إلى تجارب مستخدم سيئة، وزيادة تكاليف البنية التحتية، ومشاكل قابلية التوسع. توفر بايثون العديد من أدوات تحليل الأداء القوية للمساعدة في تحديد الاختناقات في الأداء. تتعمق هذه المقالة في اثنين من الأكثر شيوعًا: cProfile و line_profiler. سنستكشف ميزاتها واستخدامها وكيفية تفسير نتائجها لتحسين أداء كود بايثون الخاص بك بشكل كبير.

لماذا تحلل أداء كود بايثون الخاص بك؟

قبل الغوص في الأدوات، دعنا نفهم لماذا يعتبر تحليل الأداء ضروريًا. في كثير من الحالات، يمكن أن تكون الحدس حول مكان وجود الاختناقات في الأداء مضللة. يوفر تحليل الأداء بيانات ملموسة، توضح بالضبط الأجزاء التي تستهلك معظم الوقت والموارد في التعليمات البرمجية الخاصة بك. يتيح لك هذا النهج المستند إلى البيانات تركيز جهود التحسين على المجالات التي سيكون لها أكبر تأثير. تخيل تحسين خوارزمية معقدة لعدة أيام، لتكتشف أن التباطؤ الحقيقي كان بسبب عمليات الإدخال / الإخراج غير الفعالة - يساعد تحليل الأداء على منع هذه الجهود الضائعة.

مقدمة إلى cProfile: محلل الأداء المدمج في بايثون

cProfile هي وحدة بايثون مدمجة توفر محلل أداء حتمي. هذا يعني أنه يسجل الوقت الذي يقضيه في كل استدعاء دالة، جنبًا إلى جنب مع عدد مرات استدعاء كل دالة. نظرًا لأنه مُنفذ بلغة C، فإن cProfile لديه حمل أقل مقارنة بنظيره النقي في بايثون، profile.

كيفية استخدام cProfile

استخدام cProfile بسيط ومباشر. يمكنك تحليل أداء البرنامج النصي مباشرةً من سطر الأوامر أو داخل كود بايثون الخاص بك.

تحليل الأداء من سطر الأوامر

لتحليل أداء برنامج نصي يسمى my_script.py، يمكنك استخدام الأمر التالي:

            python -m cProfile -o output.prof my_script.py
            

              
                Copy
              
            
          

يخبر هذا الأمر بايثون بتشغيل my_script.py ضمن محلل الأداء cProfile، وحفظ بيانات تحليل الأداء في ملف اسمه output.prof. يحدد الخيار -o ملف الإخراج.

تحليل الأداء داخل كود بايثون

يمكنك أيضًا تحليل أداء وظائف أو كتل معينة من التعليمات البرمجية داخل برامج بايثون النصية الخاصة بك:

            import cProfile

def my_function():
    # Your code here
    pass

if __name__ == "__main__":
    profiler = cProfile.Profile()
    profiler.enable()
    my_function()
    profiler.disable()
    profiler.dump_stats("my_function.prof")

            

              
                Copy
              
            
          

يقوم هذا الكود بإنشاء كائن cProfile.Profile، وتمكين تحليل الأداء قبل استدعاء my_function()، وتعطيله بعد ذلك، ثم يقوم بتفريغ إحصائيات تحليل الأداء في ملف اسمه my_function.prof.

تحليل ناتج cProfile

بيانات تحليل الأداء التي تم إنشاؤها بواسطة cProfile ليست قابلة للقراءة مباشرة. تحتاج إلى استخدام الوحدة النمطية pstats لتحليلها.

            import pstats

stats = pstats.Stats("output.prof")
stats.sort_stats("tottime").print_stats(10)

            

              
                Copy
              
            
          

يقرأ هذا الكود بيانات تحليل الأداء من output.prof، ويفرز النتائج حسب إجمالي الوقت المستغرق في كل وظيفة (tottime)، ويطبع أفضل 10 وظائف. تتضمن خيارات الفرز الأخرى "cumulative" (الوقت التراكمي) و "calls" (عدد المكالمات).

فهم إحصائيات cProfile

تعرض طريقة pstats.print_stats() عدة أعمدة من البيانات، بما في ذلك:

• ncalls: عدد مرات استدعاء الوظيفة.
• tottime: إجمالي الوقت المستغرق في الوظيفة نفسها (باستثناء الوقت المستغرق في الوظائف الفرعية).
• percall: متوسط الوقت المستغرق في الوظيفة نفسها (tottime / ncalls).
• cumtime: الوقت التراكمي المستغرق في الوظيفة وجميع وظائفها الفرعية.
• percall: متوسط الوقت التراكمي المستغرق في الوظيفة ووظائفها الفرعية (cumtime / ncalls).

من خلال تحليل هذه الإحصائيات، يمكنك تحديد الوظائف التي يتم استدعاؤها بشكل متكرر أو تستهلك قدرًا كبيرًا من الوقت. هؤلاء هم المرشحون الرئيسيون للتحسين.

مثال: تحسين دالة بسيطة باستخدام cProfile

دعنا نفكر في مثال بسيط لدالة تحسب مجموع المربعات:

            def sum_of_squares(n):
    total = 0
    for i in range(n):
        total += i * i
    return total

if __name__ == "__main__":
    import cProfile
    profiler = cProfile.Profile()
    profiler.enable()
    sum_of_squares(1000000)
    profiler.disable()
    profiler.dump_stats("sum_of_squares.prof")

    import pstats
    stats = pstats.Stats("sum_of_squares.prof")
    stats.sort_stats("tottime").print_stats()

            

              
                Copy
              
            
          

سيُظهر تشغيل هذا الكود وتحليل الملف sum_of_squares.prof أن الدالة sum_of_squares نفسها تستهلك معظم وقت التنفيذ. يتمثل أحد التحسينات المحتملة في استخدام خوارزمية أكثر كفاءة، مثل:

            def sum_of_squares_optimized(n):
    return n * (n - 1) * (2 * n - 1) // 6

            

              
                Copy
              
            
          

سيُظهر تحليل أداء الإصدار المحسن تحسنًا كبيرًا في الأداء. هذا يسلط الضوء على كيف يساعد cProfile في تحديد مجالات التحسين، حتى في التعليمات البرمجية البسيطة نسبيًا.

مقدمة إلى line_profiler: تحليل الأداء سطرًا بسطر

في حين أن cProfile يوفر تحليل أداء على مستوى الوظيفة، فإن line_profiler يقدم عرضًا أكثر دقة، مما يسمح لك بتحليل وقت التنفيذ لكل سطر من التعليمات البرمجية داخل الوظيفة. هذا لا يقدر بثمن لتحديد الاختناقات المحددة داخل الوظائف المعقدة. line_profiler ليس جزءًا من مكتبة بايثون القياسية ويحتاج إلى تثبيته بشكل منفصل.

            pip install line_profiler
            

              
                Copy
              
            
          

كيفية استخدام line_profiler

لاستخدام line_profiler، تحتاج إلى تزيين الوظائف التي تريد تحليل أدائها باستخدام الزخرفة @profile. ملاحظة: هذه الزخرفة متاحة فقط عند تشغيل البرنامج النصي باستخدام line_profiler وستتسبب في حدوث خطأ إذا تم تشغيلها بشكل طبيعي. ستحتاج أيضًا إلى تحميل امتداد line_profiler داخل iPython أو دفتر Jupyter.

            %load_ext line_profiler
            

              
                Copy
              
            
          

بعد ذلك، يمكنك تشغيل محلل الأداء باستخدام الأمر السحري %lprun (داخل iPython أو Jupyter Notebook) أو البرنامج النصي kernprof.py (من سطر الأوامر):

تحليل الأداء باستخدام %lprun (iPython/Jupyter)

الصيغة الأساسية لـ %lprun هي:

            %lprun -f function_name statement
            

              
                Copy
              
            
          

حيث function_name هي الوظيفة التي تريد تحليل أدائها و statement هي التعليمات البرمجية التي تستدعي الوظيفة.

تحليل الأداء باستخدام kernprof.py (سطر الأوامر)

أولاً، قم بتعديل البرنامج النصي الخاص بك لتضمين الزخرفة @profile:

            @profile
def my_function():
    # Your code here
    pass

if __name__ == "__main__":
    my_function()

            

              
                Copy
              
            
          

بعد ذلك، قم بتشغيل البرنامج النصي باستخدام kernprof.py:

            kernprof -l my_script.py
            

              
                Copy
              
            
          

سيؤدي هذا إلى إنشاء ملف باسم my_script.py.lprof. لعرض النتائج، استخدم البرنامج النصي line_profiler:

            python -m line_profiler my_script.py.lprof
            

              
                Copy
              
            
          

تحليل ناتج line_profiler

يوفر الإخراج من line_profiler تفصيلاً تفصيليًا لوقت التنفيذ لكل سطر من التعليمات البرمجية داخل الوظيفة التي تم تحليل أدائها. يتضمن الإخراج الأعمدة التالية:

• Line #: رقم السطر في كود المصدر.
• Hits: عدد المرات التي تم فيها تنفيذ السطر.
• Time: إجمالي الوقت المستغرق في السطر بالميكروثانية.
• Per Hit: متوسط الوقت المستغرق في السطر لكل تنفيذ بالميكروثانية.
• % Time: النسبة المئوية لإجمالي الوقت المستغرق في الوظيفة الذي تم قضاؤه في السطر.
• Line Contents: سطر التعليمات البرمجية الفعلي.

من خلال فحص العمود % Time، يمكنك تحديد أسطر التعليمات البرمجية التي تستهلك معظم الوقت بسرعة. هذه هي الأهداف الأساسية للتحسين.

مثال: تحسين حلقة متداخلة باستخدام line_profiler

ضع في اعتبارك الوظيفة التالية التي تؤدي حلقة متداخلة بسيطة:

            @profile
def nested_loop(n):
    result = 0
    for i in range(n):
        for j in range(n):
            result += i * j
    return result

if __name__ == "__main__":
    nested_loop(1000)

            

              
                Copy
              
            
          

سيُظهر تشغيل هذا الكود باستخدام line_profiler أن السطر result += i * j يستهلك الغالبية العظمى من وقت التنفيذ. يتمثل التحسين المحتمل في استخدام خوارزمية أكثر كفاءة، أو استكشاف تقنيات مثل التحويل المتجهي باستخدام مكتبات مثل NumPy. على سبيل المثال، يمكن استبدال الحلقة بأكملها بسطر واحد من التعليمات البرمجية باستخدام NumPy، مما يحسن الأداء بشكل كبير.

إليك كيفية تحليل الأداء باستخدام kernprof.py من سطر الأوامر:

1. احفظ الكود أعلاه في ملف، على سبيل المثال، nested_loop.py.
2. شغل kernprof -l nested_loop.py
3. شغل python -m line_profiler nested_loop.py.lprof

أو في دفتر jupyter:

            %load_ext line_profiler

@profile
def nested_loop(n):
    result = 0
    for i in range(n):
        for j in range(n):
            result += i * j
    return result

%lprun -f nested_loop nested_loop(1000)
            

              
                Copy
              
            
          

cProfile مقابل line_profiler: مقارنة

تعتبر كل من cProfile و line_profiler أدوات قيمة لتحسين الأداء، ولكن لديهما نقاط قوة ونقاط ضعف مختلفة.

cProfile

• الإيجابيات:
  • مدمج في بايثون.
  • حمل منخفض.
  • يوفر إحصائيات على مستوى الوظيفة.
• السلبيات:
  • أقل دقة من line_profiler.
  • لا يحدد الاختناقات داخل الوظائف بسهولة.

line_profiler

• الإيجابيات:
  • يوفر تحليل أداء سطرًا بسطر.
  • ممتاز لتحديد الاختناقات داخل الوظائف.
• السلبيات:
  • يتطلب تثبيتًا منفصلاً.
  • حمل أعلى من cProfile.
  • يتطلب تعديل الكود (الزخرفة @profile).

متى تستخدم كل أداة

• استخدم cProfile عندما:
  • تحتاج إلى نظرة عامة سريعة على أداء التعليمات البرمجية الخاصة بك.
  • تريد تحديد الوظائف التي تستغرق معظم الوقت.
  • أنت تبحث عن حل لتحليل الأداء خفيف الوزن.
• استخدم line_profiler عندما:
  • لقد حددت وظيفة بطيئة باستخدام cProfile.
  • تحتاج إلى تحديد أسطر التعليمات البرمجية المحددة التي تسبب الاختناق.
  • أنت على استعداد لتعديل التعليمات البرمجية الخاصة بك باستخدام الزخرفة @profile.

تقنيات تحليل الأداء المتقدمة

بالإضافة إلى الأساسيات، هناك العديد من التقنيات المتقدمة التي يمكنك استخدامها لتحسين جهود تحليل الأداء.

تحليل الأداء في الإنتاج

في حين أن تحليل الأداء في بيئة التطوير أمر بالغ الأهمية، إلا أن تحليل الأداء في بيئة شبيهة بالإنتاج يمكن أن يكشف عن مشكلات في الأداء غير واضحة أثناء التطوير. ومع ذلك، من الضروري توخي الحذر عند تحليل الأداء في الإنتاج، حيث يمكن أن يؤثر الحمل الزائد على الأداء ويعطل الخدمة المحتملة. ضع في اعتبارك استخدام محللات الأداء لأخذ العينات، والتي تجمع البيانات بشكل متقطع، لتقليل التأثير على أنظمة الإنتاج.

استخدام محللات الأداء الإحصائية

تعد محللات الأداء الإحصائية، مثل py-spy، بديلاً لمحللات الأداء الحتمية مثل cProfile. وهي تعمل عن طريق أخذ عينات من مكدس الاستدعاء على فترات منتظمة، مما يوفر تقديرًا للوقت المستغرق في كل وظيفة. عادةً ما يكون لمحللات الأداء الإحصائية حمل أقل من محللات الأداء الحتمية، مما يجعلها مناسبة للاستخدام في بيئات الإنتاج. يمكن أن تكون مفيدة بشكل خاص لفهم أداء الأنظمة بأكملها، بما في ذلك التفاعلات مع الخدمات والمكتبات الخارجية.

تصور بيانات تحليل الأداء

يمكن أن تساعد أدوات مثل SnakeViz و gprof2dot في تصور بيانات تحليل الأداء، مما يسهل فهم الرسوم البيانية المعقدة للمكالمات وتحديد الاختناقات في الأداء. SnakeViz مفيد بشكل خاص لتصور إخراج cProfile، بينما يمكن استخدام gprof2dot لتصور بيانات تحليل الأداء من مصادر مختلفة، بما في ذلك cProfile.

أمثلة عملية: اعتبارات عالمية

عند تحسين كود بايثون للنشر العالمي، من المهم مراعاة عوامل مثل:

• زمن انتقال الشبكة: قد تواجه التطبيقات التي تعتمد بشكل كبير على الاتصال بالشبكة اختناقات في الأداء بسبب زمن الانتقال. يمكن أن يساعد تحسين طلبات الشبكة، واستخدام التخزين المؤقت، واستخدام تقنيات مثل شبكات توصيل المحتوى (CDNs) في التخفيف من هذه المشكلات. على سبيل المثال، قد يستفيد تطبيق جوال يخدم المستخدمين في جميع أنحاء العالم من استخدام CDN لتقديم الأصول الثابتة من الخوادم الموجودة بالقرب من المستخدمين.
• موقع البيانات: يمكن أن يؤدي تخزين البيانات بالقرب من المستخدمين الذين يحتاجون إليها إلى تحسين الأداء بشكل كبير. ضع في اعتبارك استخدام قواعد بيانات موزعة جغرافيًا أو تخزين البيانات مؤقتًا في مراكز بيانات إقليمية. يمكن لمنصة التجارة الإلكترونية العالمية استخدام قاعدة بيانات مع نسخ متماثلة للقراءة في مناطق مختلفة لتقليل زمن الانتقال لاستعلامات كتالوج المنتجات.
• ترميز الأحرف: عند التعامل مع البيانات النصية بلغات متعددة، من الضروري استخدام ترميز أحرف متسق، مثل UTF-8، لتجنب مشكلات الترميز وفك الترميز التي يمكن أن تؤثر على الأداء. يجب أن تضمن منصة وسائط اجتماعية تدعم لغات متعددة تخزين جميع البيانات النصية ومعالجتها باستخدام UTF-8 لمنع أخطاء العرض والاختناقات في الأداء.
• المناطق الزمنية والترجمة: يعد التعامل مع المناطق الزمنية والترجمة بشكل صحيح أمرًا ضروريًا لتوفير تجربة مستخدم جيدة. يمكن أن يساعد استخدام مكتبات مثل pytz في تبسيط تحويلات المنطقة الزمنية والتأكد من عرض معلومات التاريخ والوقت بشكل صحيح للمستخدمين في مناطق مختلفة. يحتاج موقع ويب دولي لحجز السفر إلى تحويل مواعيد الرحلات الجوية بدقة إلى المنطقة الزمنية المحلية للمستخدم لتجنب الارتباك.

الخلاصة

يعد تحليل الأداء جزءًا لا غنى عنه من دورة حياة تطوير البرمجيات. باستخدام أدوات مثل cProfile و line_profiler، يمكنك الحصول على رؤى قيمة حول أداء التعليمات البرمجية الخاصة بك وتحديد مجالات التحسين. تذكر أن التحسين هو عملية تكرارية. ابدأ بتحليل التعليمات البرمجية الخاصة بك، وتحديد الاختناقات، وتطبيق التحسينات، ثم إعادة تحليل الأداء لقياس تأثير التغييرات. ستؤدي دورة تحليل الأداء والتحسين هذه إلى تحسينات كبيرة في أداء التعليمات البرمجية الخاصة بك، مما يؤدي إلى تجارب مستخدم أفضل واستخدام أكثر كفاءة للموارد. من خلال النظر في العوامل العالمية مثل زمن انتقال الشبكة وموقع البيانات وترميز الأحرف والمناطق الزمنية، يمكنك التأكد من أن تطبيقات بايثون الخاصة بك تعمل بشكل جيد للمستخدمين حول العالم.

استفد من قوة تحليل الأداء واجعل كود بايثون الخاص بك أسرع وأكثر كفاءة وقابلية للتطوير.